Het was niet het enige huis in deze omgeving met de naam van een vissoort. Rechts van wat nu De Plekhoek heet, stond een pand dat De Gulden Grabbe heette. Aan de Smalle Haven bevond zich een pand dat verschillende namen van vissen heeft gedragen. Zo heette het in 1611 Den Carper, in 1614 De Steur en in 1906 De Salm. In de Visstraat heette een huis in 1635 eveneens De Steur en later De Walvis. In deze Visstraat bevonden zich eveneens De Drie Heringen. De Vergulde Herink en De Bruinvis.

Het is natuurlijk niet toevallig dat we al deze namen juist in deze omgeving aantreffen. Lange tijd is hier, aan het einde van de haven, de vismarkt gevestigd geweest. Al in de middeleeuwen was de diversiteit aan aangevoerde vissoorten groot. In een ordonnantie op de stedelijke accijnsen, daterend van 22 september 1441, stelde het stadsbestuur onder andere de 'vischtoll' vast. Hieronder vielen alle vissen, behalve steur, haring, bokking, droge vis, kabeljauw, spiering, zalm, elft, mosselen (wat in feite weekdieren zijn). Tevens werden er ook twee zoogdierensoorten genoemd, die men toen ook tot de vissen rekende: de bruinvis en de zeehond. In een ordonnantie op het tarief van de stadskraan van 26 september 1435 wordt ook nog over stokvis gesproken.

Van alle genoemde vissen was de haring wel de belangrijkste. Verkoop, verpakking en keuring hiervan werd in 1445 apart geregeld. Vooral met het oog op de verdere export hiervan. 's-Hertogenbosch was namelijk voor haring een belangrijke overslaghaven, onder andere voor haring bestemd voor Keulen. Het Bossche viskopersgilde was vóór 1629 het zesde gilde in belangrijkheid; het had ook politieke bevoegdheid.

Toen 's-Hertogenbosch in de vorige eeuw werd aangesloten op het spoorwegnet en de wijk Het Zand werd opgespoten, vond het stadsbestuur het noodzakelijk een nieuwe weg naar het station aan te leggen, in plaats van de nauwe Sint Jansstraat. In eerste instantie heette deze doorbraak tussen de Vismarkt en de Wilhelminabrug: Spoorstraat. Maar in 1909 kreeg de gehele straat de naam Visstraat.

Het pleinvormig karakter van de oude vismarkt was verbroken. Ook de Vismarkt zelf kom hier niet meer gehouden worden vanwege het doorgaand verkeer en werd dan ook in 1874 verplaatst naar de Lepelstraat, boven de Binnendieze. Deze verkoopplaats voor vis is echter geen lang leven beschoren geweest.

Aan de levendige handel die hier eens plaatshad, herinneren ons slecht de restanten van de eind negentiende eeuwse visbank, de naam Visstraat, het pand De Twee Snoecken in de Karrenstraat/Kruisstraat èn De Gulden Steur.